Datuk Haji Abu Bakar lahir di Kampung Darat, Hutan Kampung, Kedah. Bapanya merupakan guru besar di sebuah Sekolah Melayu di situ. Pada tahun 1946, beliau mengambil peluang untuk ke India menaiki kapal bersama masyarakat India di Malaya yang pada masa itu ingin pulang ke tanah air mereka selepas kemerdekaan India daripada British.

Di India, beliau mendaftarkan diri di Aligarh Muslim University di Aligarh, India dalam jurusan Sains Politik. Pengalaman berada di India ini membuatkan beliau fasih berbahasa Urdu.

Pada tahun 1958, beliau pulang ke Malaya dan berkahwin dengan Rokiah Haji Ahmad, anak kepada Tuan Guru Haji Ahmad Tuan Hussein yang merupakan salah seorang pengasas PAS yang juga satu-satunya pembangkang di dalam Parlimen pertama Tanah Melayu, pada tahun 1955.

Beliau mula bertanding dalam pilihanraya sejak tahun 1959 dan merupakan Pesuruhjaya Pas bagi negeri Kedah.

Datuk Haji Abu Bakar Umar meninggal dunia pada 12 Ogos 1998 di Pokok Sena, Pulau Pinang dekat dengan Madrasah Khairiyah Islamiyah yang ditubuhkan bapa mentuanya, Tuan Guru Haji Ahmad Tuan Hussein. Beliau dikebumikan bersebelahan dengan pusara Tuan Guru Haji Ahmad Tuan Hussein di Masjid Kampung Baggol, Pokok Sena, Pulau Pinang.